使用 AWS Lambda 開發 Serverless Event 接收器: Node.js LINE Bot Handler

16th鐵人賽

cancerpio

2024-09-24 22:46:07

446 瀏覽

分享至

概述

在這篇文章中，我們將探討如何在AWS Lambda上運行一個基於Node.js的 LINE Bot Handler，並解析其技術原理與最佳實踐。首先，我們將概述AWS Lambda的執行生命周期，並介紹官方定義的Lambda Function格式。隨後，我們會詳細檢視事件處理邏輯及Kafka Producer的程式結構。

AWS Lambda 執行環境與生命週期

一個Lambda Function被執行時會經過四個步驟，如下圖:
1.把要執行的Code下載到AWS內部的S3
2.準備執行環境，包括佈署虛擬機器
3.執行初始化程式碼，載入環境變數並建立資料庫連線等必要設置。
4.執行handler function的主程式碼。

冷啟動與熱啟動的差異

冷啟動 (Cold Start)

冷啟動是Lambda在第一次執行，或長時間未執行後，必須重新初始化執行環境的過程。在冷啟動時，Lambda 會需要執行上述的全部四個步驟。
冷啟動會增加初次請求的延遲，特別是對於大型函數或需要大量依賴的應用程式。
為了減少冷啟動的影響，可以優化初始化代碼，盡可能減少不必要的外部依賴的載入。

熱啟動 (Warm Start)

在Lambda每次執行完後，會將執行環境凍結，並在一段不確定的時間內保留。
熱啟動 (Warm Start) 則是 Lambda Function已經被執行過，執行環境還在保留時間內的啟動方式。
在這種情況下只需直接執行handler function，執行時間較短，因為省略了重複的初始化過程。

Node.js Lambda function handler

以下Lambda Function用於處理 LINE bot Webhook，並將提取的訊息內容和回覆訊息所需的Token傳送到 Kafka。

程式基本結構及進入點

一個 Lambda Function 必須遵循 AWS 官方規範的檔案和函數名稱。根據使用的程式語言，這些規範會有所不同。例如，對於Java 17，程式碼必須包含一個類別HandlerIntegerJava17，並在其中定義 handleRequest函數。

在本專案中，我們使用的是 Node.js，因此必須有一個名為index.js或index.mjs的檔案，並在其中定義一個handler function。其基本結構如下：

export const handler = async (event, context) => {
  // 取得AWS Lambda event內容。
  // event 是一個 JSON 字串，可以從中解析出 LINE Platform 傳送來的資訊。
  const bodyContent = JSON.parse(body);
  
  return context.logStreamName;
};

程式結構

.env
.eslintrc.json
deploy.sh
env.example
index.js
package.json
utils/kafka/producer.js

使用到的Library

@line/bot-sdk: 用於直接回覆LINE使用者的訊息。
aws-xray-sdk: 此為將Node.js的程式部署到AWS Lambda上執行的必要依賴
dotenv: 用於加載環境變數。
kafkajs: 用於將使用者的訊息及Token寫入Kafka Message Queue，供其他程式做進一步的處理。
eslint: 用於程式碼格式檢查。
eslint-config-airbnb-base: 本專案使用Airbnb 的 ESLint規則。
eslint-plugin-import: 用於支持 ES6 模塊的 ESLint 插件。

環境變數

在 .env 文件中包含了以下環境變數：

# 要連接的Kafka Host IP 或 Domain Name
KAFKA_HOST_IP=
# 要將訊息送到哪一個Kafka Topic
KAFKA_TOPIC=TEST-MESSAGE-TOPIC
# 要連接的Kafka Port, 預設為9092
KAFKA_PORT=
# 要連接的Client id
KAFKA_CLIENT_ID=
# 指定LINE BOT 的Channel Access Token
CHANNEL_ACCESS_TOKEN=

Channel Access Token的取得方式可參考這篇的說明

部署

使用上一篇的deploy.sh腳本進行部署：

function=LinebotHandlerNode ./deploy.sh

主要程式碼說明

`index.js`

AWS Lambda Function入口，負責處理來自LINE Bot的事件，並將訊息發送至Kafka。
分離事件處理邏輯與 Lambda Handler 定義: 為了讓程式更具可測試性，我們將處理事件的邏輯與 Lambda Handler 函數的宣告分離。這樣的設計便於撰寫單元測試，也提高程式的可維護性。
Handler Factory模式: 因為除了本專案以外，當時還有其他Hanlder Function在測試其他功能，常常需要切換。因此我們使用了簡單的 Handler Factory，根據輸入的key決定要export哪一個Handler給AWS Lambda，方便抽換和測試。
Event結構: 這邊是使用Function URL作為接收端，Event的結構和API Gateway相同，而event.body的內容就是LINE Platform送過來的Webhook。
有關LINE Platform Webhook的結構，可參考先前文章中提到的Webhook 與事件(Event)。

const { produceMessage } = require('./utils/kafka/producer');
require('dotenv').config();

const kafkaHandler = async (event, context) => {
  const kafkaTopic = process.env.KAFKA_TOPIC;
  const { body } = event;
  const bodyContent = JSON.parse(body);
  const { events } = bodyContent;
  const produceKafkaResults = [];
  events.forEach((e) => {
    if (e.type === 'message' && e.message !== undefined && e.message.type === 'text') {
      const {
        source: {
          userId,
        },
        message: {
          text,
        },
        timestamp,
        replyToken,
      } = e;

      produceKafkaResults.push(produceMessage({
        topic: kafkaTopic,
        messages: [{ key: userId, value: text }],
      }));
    }
  });
  await Promise.all(produceKafkaResults);
  return context.logStreamName;
};

// 簡單的handler Factory，當需要開發多個Handler function需要切換時，較為方便
const handlerFactory = (name) => {
  const functionCode = {
    kafka: kafkaHandler,
    other: otherHandler,
  };

  return functionCode[name];
};

// 將Lambda Handler與主要邏輯分開，方便測試及抽換
exports.handler = async function (event, context) {
  const handler = handlerFactory('kafka');
  await handler(event, context);
};

`utils/kafka/producer.js`

Kafka Producer，提供一個Function: produceMessage(), 用於將訊息傳遞到 Kafka。
produceMessage: 這邊先從環境變數取得需要的Kafka Host, Port, 以及要指定的Topic等連線資訊。最後將指定的訊息送到對應的Topic。
有關於Kafka Message Queue的說明將在後續的章節詳盡描述。

const {
  Kafka, logLevel, CompressionTypes, Partitioners,
} = require('kafkajs');
require('dotenv').config();

const host = process.env.KAFKA_HOST_IP || 'localhost';
const port = process.env.KAFKA_PORT || 9092;
const clientId = process.env.KAFKA_CLIENT_ID || 'example-producer';

const kafka = new Kafka({
  logLevel: logLevel.DEBUG,
  brokers: [`${host}:${port}`],
  clientId,
});

const producer = kafka.producer({
  allowAutoTopicCreation: true,
  createPartitioner: Partitioners.LegacyPartitioner,
});

const produceMessage = async ({ topic = 'NON-GIVEN-MESSAGE', messages = [] } = {}) => {
  try {
    await producer.connect(); 
    await producer.send({
      topic,
      compression: CompressionTypes.GZIP,
      messages,
    });
  } catch (e) {
    console.error(`[example/producer] ${e.message}`, e);
  } finally {
    await producer.disconnect();
  }
};

module.exports = {
  produceMessage,
};

AWS Lambda Node.js Best Practices

以下說明幾個官方提到的AWS Lambda最佳實踐:

善用Initial Code階段
- 宣告Function handler以外的部分將會在Initial Code被執行，也就是說這部分的Code只會在第一次調用，或者Lambda Function重新被初始化時才會執行。
- 所以盡可能把資料庫連線，或者載入依賴(require(...))的程式碼擺在Function handler，可簡化每次的執行時間
保持無狀態: Lambda 函數應該是無狀態的，這樣可以確保水平擴展的彈性。
日誌記錄CloudWatch: 使用 console.log來記錄的日誌，將自動發送到 Amazon CloudWatch Logs，可以在AWS Lambda 主控台找到這個 Lambda Function所在的Log: